Mechanics of Long-Context Hybrid Models Part 1.1: From Hybrid Attention to Hybrid Position
长上下文混合模型机理 1.1：从混合注意力到混合位置
🧭 混合注意力 · 长度外推与上下文扩展 ★ 深度解读
Fudan University · Shanghai Innovation Institute · OpenMOSS Team
揭示 NoPE 与位置偏置注意力的协作机理，提出滑动窗口线性注意力实现 16 倍免训练长度外推
📌 工作参考价值（4 点）
- 在电商/推荐场景建模超长用户行为序列时，可采用「NoPE full attention + 滑动窗口/线性注意力」混合架构替代全注意力，降低长序列推理的 KV cache 与计算成本；NoPE 使用 log-scale attention scaling 可免训练外推到训练长度之外。
- 若业务模型需长上下文继续预训练，避免 SWA 混合的短上下文陷阱：滑动窗口不要保持 128，建议扩到 2048 并加入 LongCE 损失；若用 LA 混合，优先利用其训练长度内的拟合优势，OOD 外推需额外设计。
- 在排序/召回模型中引入无位置 attention 头做全局检索时，可参考 3:1 混合比；通过 attention entropy 与 top-k hit rate 分析头功能，避免盲目增加 NoPE 比例导致噪声上升。
- 评估长上下文检索能力时，除下游指标外可加入 RULER/BABILong 与 attention entropy 分析，快速定位长程依赖失效是架构问题还是训练问题。